JAWS DAYS 2016 - HackDay / SORACOM Air+AWS IoTでデータ可視化 〜OpenBlocks IoTハンズオン初級編〜¶

BX1とWi-Fiで接続する¶

BX1の起動が完了すると、BX1はWi-Fiのアクセスポイントとして動作を開始します

お手持ちのPCやスマートフォンから SSID を探し、接続してください

• SSID: iotfamily_BX1シリアル番号
• Password: openblocks

802.11g, WPA-PSK の設定で接続できます

お手持ちのBX1のシリアル番号確認方法¶

シリアル番号は、BX1のウラ面のバーコード上の文字と数字の組み合わせになります

下記例では F2A00788 がシリアル番号です (そのためSSIDは iotfamily_F2A00788 となります)

モバイル回線の接続状況確認と接続方法¶

WebUIの “ダッシュボード” にてモバイル回線の接続状況確認と接続作業を行うことができます

センサーの電源をONにする¶

センサー側面の電源スイッチをONにしてください

センサーの仕様¶

Bluetoothの使用を開始する¶

1. WebUIから [サービス] - [基本] を表示
2. Bluetooth の使用設定を 使用する にして [保存]

センサーを検出して登録する¶

1. WebUIから [サービス] - [Bluetooth関連] を表示
2. Bluetooth LEデバイス検出 の [検出] をクリック
3. 一覧の中から自分のデバイスを探し 使用設定 にチェックをして [保存]

自分のデバイスの探し方¶

Device Name = FWM8BLZ02 が大量に表示される可能性があります

お配りしたセンサーにはアドレスのタグが書かれており、画面上に表示されている Device Address (= MAC Address) と一致したものが、ご自分のセンサーとなりますので確認してください

登録状況の確認¶

保存すると WebUI は下記のようになります

以上でセンサーをBX1に登録できました

BX1のデータ収集機能を開始する¶

1. WebUIから [サービス] - [基本] を表示
2. データ収集 における データ収集 ならびに PD Handler をそれぞれ 使用する にして [保存]

BX1内へのデータ収集機能を開始する¶

1. WebUIから [サービス] - [収集設定] を表示
2. 本体内(local) を 使用する

ページ後半に移動し dev_le_0000001 の設定を下記のようにします

以上を確認し [保存]

グラフの表示¶

localへのデータ収集が開始されると、WebUI内のグラフに表示が開始されます

[サービス] - [データ表示] にて確認できます

ここまで到達できればゴールです

Amazon ESのインスタンス作成と設定 へ進む

データ収集状況ログの確認¶

WebUIから [サービス] - [収集ログ] にて、動作確認が可能です

ログ選択はそれぞれ下記のとおりです

下記画面はセンサーからのデータ読み出しが成功している場合のログ画面です。JSONが表示されているのが見てわかります

pd-handler-stdout.log に timeout: ... などと表示されている¶

センサーとのBLE接続確立に失敗している可能性があります

1. しばらく待つ (再接続するため)
2. データ収集プロセスを再起動する (チューターにご相談ください)

これらで対処可能です

データの投入¶

curl -X PUT ${YOUR_ES_ENDPOINT}/es-test/es0/1 -d "{\"deviceId\":\"es-test0\",\"field1\":1,\"@timestamp\":\"$(date +%Y-%m-%dT%H:%M:%S%z)\"}"

Windowsの方: 下記の通りダブルクオーテーションのエスケープを変更してください

curl -X PUT ${YOUR_ES_ENDPOINT}/es-test/es0/1 -d "{""deviceId"":""es-test0"",""field1"":1,""@timestamp"":""2016-03-12T10:10:50+0900""}"

コマンドの投入結果は下記のようになります

{"_index":"es-test","_type":"es0","_id":"1","_version":1,"created":true}

Kibanaでの表示¶

Indexを作成する¶

Amazon ESのダッシュボードで得た Kibana のURLにアクセスします

インデックスの設定を下記のとおりにします

Index name or pattern	es-test
Time-field name	@timestamp

テストデータが正しく投入されていれば “Create” ボタンが押せるようになるはずですので、押してください

下記の通り、インデックスのカラム一覧が表示されれば成功です

※そうでない場合、テストデータの投入に失敗している可能性があります。コマンドの実行結果等を確認してください

データを表示する¶

“Discover” をクリックするとデータの中身を表示することができます

ここまで到達できればゴールです

AWS LambdaのLambda function作成 へ進む

テストデータの投入に失敗した(ようなので)インデックスを削除する¶

$ curl -X DELETE ${YOUR_ES_ENDPOINT}/es-test

ロールの作成¶

IAMコンソールのロール一覧から “新しいロールの作成” をクリックし、ウィザードを開始します

ウィザードの各項目は下記のようにしてください

インラインポリシーの設定¶

1. IAMコンソールのロール一覧から、先ほど作成した jawsdays20160312_lambda_exec ロールを選択
2. “インラインポリシー” を選択 => “ここをクリックしてください” をクリック
3. “カスタムポリシー” => “選択” をクリック
4. 下記のとおりポリシー名とポリシードキュメントを設定し “ポリシーの検証” をした後 “ポリシーの適用” をクリック

ポリシードキュメント

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "arn:aws:logs:*:*:*"
    }
  ]
}

以上でロールの作成は完了です

貼り付けるPythonコード¶

## example) es_endpoint = "search-jawsdays20160312handson-***.ap-northeast-1.es.amazonaws.com"
es_endpoint = "YOUR_ES_ENDPOINT"

es_index = "es-test"
es_type  = "awsiot0"

# REF: https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/python-logging.html
import logging
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)

http_req_headers = {
    "pragma"      : "no-cache",
    "content-type": "application/json"
}

# REF: http://takatoshiono.hatenablog.com/entry/2014/12/18/192726
from datetime import timedelta, tzinfo
class JST(tzinfo):
    def utcoffset(self, dt):
        return timedelta(hours=9)
    def dst(self, dt):
        return timedelta(0)
    def tzname(self, dt):
        return "JST"
# Usage;
from datetime import datetime
#print datetime.now(tz=JST()).strftime("%Y-%m-%dT%H:%M:%S%z")

import urllib2, json
def lambda_handler(event, context):
    logger.info('got event: {}'.format(event))
    body = []

    es_bulk_header = {"index": {}}
    body.append(es_bulk_header)

    payload = event["state"]["reported"] # When data of client pass through the AWS IoT, become {state: {reported: {PAYLOAD}}}
    es_bulk_row = {
        "deviceId"  : payload["deviceId"],
        "@timestamp": datetime.now(tz=JST()).strftime("%Y-%m-%dT%H:%M:%S%z"),
        "payload"   : payload
    }
    body.append(es_bulk_row)

    post_body = "\n".join(map(json.dumps, body)) + "\n"
    logger.debug('post_body: {}'.format(post_body))

    # REF: http://takuya-1st.hatenablog.jp/entry/2014/08/23/023707
    invoke_url = "http://" + "/".join([es_endpoint, es_index, es_type, "_bulk"])
    logger.debug('invoke url: {}'.format(invoke_url))
    req = urllib2.Request(invoke_url, post_body, http_req_headers)
    res = urllib2.urlopen(req)
    logger.info('res body   :{}'.format(res.read()))

    return "done"

テストデータを設定¶

[Actions] - [Configure test event] に下記JSONを入力して “Save” してください

{ "state":
  { "reported":
    { "deviceId": "lambda-test0",
      "field1" : 2,
      "field2" : "lambda_test"
    }
  }
}

テストを実行し、Amazon ESでデータを確認する¶

“Test” でLambda functionのテストを実行できます

“Execution result: succeeded” (グレー部分には “done”) の表示が出れば、Amazon ESのKibana上で今投入したテストデータが確認できます (“payload.キー: 値 という形になります”)

ここまで到達できればゴールです

AWS IoTの設定 へ進む

コードの保存失敗¶

たまに [Save] が失敗することがあります

1. Pythonコードの文法をチェックしてみてください
2. 再度アップロードを実行してみてください

Lambda functionの実行失敗¶

CloudWatchにLambdaの実行ログが表示されています

1. ロールは適切に作成されていますか？
2. ログが出ない場合、ポリシーは適切に設定されていますか？

Amazon ESへの接続失敗¶

Amazon ESが立ち上がっていなかったり、Endpointが間違ってたりすると接続エラーが発生します

その場合のAWS Lambdaの実行ログは下記のようになります

<urlopen error [Errno -2] Name or service not known>: URLError
Traceback (most recent call last):
  File "/var/task/lambda_function.py", line 51, in lambda_handler
    res = urllib2.urlopen(req)

1. Amazon ESが起動しているか確認してください
2. Amazon ESの Endpoint が間違っていないか確認してください

Amazon ESにデータが出ない¶

1. テストデータの形式確認してみてください

作業¶

1. AWS IoTのコンソールから “Create a resource” をクリックし “Create a policy” をクリック
2. 下記を入力したら “Add statement” をクリックし “Create” をクリック

これでポリシが作成されました

※下図は “Add statement” 直前の画面です

作業¶

1. AWS IoTのコンソールから “Create a thing” をクリック
2. 下記を入力したら “Create” をクリック

これで “モノ” が作成されました

作業¶

• 証明書の作成
  1. AWS IoTのコンソールから “Create a certiicate” をクリック
  2. “1-CLick certificate create” をクリック <”INACTIVE” と書かれた証明書が作成されます>
  3. 画面上の “Download private key” と “Download certificate” をクリックし、それぞれ .pem.key ファイルと .pem.crt ファイルを取得する

• ポリシを証明書に割り当て
  1. 証明書のチェックボックスをクリック (ついていれば次へ)
  2. [Actions]の中から[Attach a policy]をクリック
  3. Policy name にポリシ名 jawsdays2016_awsiot_policy を入力し “Attach” をクリック
• “モノ” を証明書に割り当て
  1. 証明書のチェックボックスをクリック (ついていれば次へ)
  2. [Actions]の中から[Attach a thing]をクリック
  3. Thing name にポリシ名 jawsdays2016_awsiot_thing0 を入力し “Attach” をクリック
• 証明書のアクティベート
  1. 証明書のチェックボックスをクリック (ついていれば次へ)
  2. [Actions]の中から[Activate]をクリック <証明書が “ACTIVE” に変化します>

※下図は 証明書にチェックを入れた後 “Actions” をクリックした直後の画面です

作業¶

1. AWS IoTのコンソールから “Create a rule” をクリック
2. 下記を入力したら “Add action” をクリックし “Create” をクリック

これでルールが作成されました

※下図は “Add action” 直前の画面です

作業¶

1. AWS IoTコンソールの右上 “MQTT Client” をクリック
2. “Generate client ID” をクリック <Client IDに任意の文字列が入ります>
3. “Connect” をクリック
4. “Publish to topic” をクリック
5. 下記を入力して “Publish” をクリック

Kibana上に上記payloadのデータが入っていれば成功です

ここまで到達できればゴールです

BX1とAWS IoTの接続 へ進む

AWS IoTのログ¶

CloudWatchで確認することができます

CertificateファイルやPrivate keyファイルのダウンロードを忘れg AWS IoT上で証明書を作成しなおしてください

AWS IoTの証明書が削除できない¶

証明書にポリシや “モノ” が割り当て済みです

1. 証明書をクリック
2. 右側に現れたウィンドウの [Detail] で “dettach” します
3. 改めて削除します

Rule作成時に Lambda で作ったファンクションが見当たらない¶

リージョンを確認してください

AWS IoTとAWS Lambdaのリージョンは一致している必要があります

AWS IoTから入手しておくもの¶

• 証明書(Certificate)ファイル <拡張子 .pem.crt>
• プライベートキー(PrivateKey)ファイル <拡張子 .pem.key>
• エンドポイント

エンドポイントの確認方法¶

最終的には “XXXXXXX.iot.REGION.amazonaws.com” というフォーマットの文字列を入手します

下記どちらかの方法で確認してください

• AWS CLIで aws iot describe-endpoint で確認
• AWS IoTコンソールの “Things” の REST API endpointから抜き出す

その他、入手しておくもの¶

• ルート証明書ファイル

ファイルアップロード¶

AWS IoTの証明書ファイル・プライベートキーファイル・ルート証明書ファイルの3つをBX1にアップロードします

1. WebUIから [システム] - [ファイル管理] を表示
2. 本画面からファイルを3つ、それぞれアップロード

すべてアップロードされると、下記のような画面となります

収集設定 / AWS IoTに対する設定¶

1. WebUIから [サービス] - [収集設定] を表示
2. AWS IoT を 使用する (クリックで設定が展開します)
3. 下記の通り設定します

保存せず、引き続きページ下部へ移動します

収集設定 / センサーのデータ送信先にAWS IoTを加える¶

1. dev_le_0000001 の 送信先設定 で AWSIOT にチェックを付けます (クリックで設定が展開します)
2. 下記の通り設定します

保存後、即座にAWS IoTへの送信が始まります。Amazon ESのKibanaでデータ受信ができているか確認してください

BX1からAWS IoTへの送信状況の確認¶

WebUIから [サービス] - [収集ログ] にて、動作確認が可能です

ログ選択はそれぞれ下記のとおりです

富士通コンポーネント社製 温度・加速度センサーデバイス “FWM8BLZ02”¶

{
  "deviceId": "e73a40839d8a",              // BX1の設定画面で設定したデバイスID (BX1で付与)
  "time": "2016-03-09T18:15:53.764+0900",  // 計測日時 (BX1で付与)
  "temperature": 27.22,                    // 温度 ℃
  "accelX": 0.092,                         // X方向 加速度 G
  "accelY": -0.952,                        // Y方向 加速度 G
  "accelZ": -0.113                         // Z方向 加速度 G
}

また、AWS IoTのDevice shadowで取得すると state 等、AWS IoTの属性が付与されます

{
  "state": {
    "reported": {
      "deviceId": "e73a40839d8a",
      "time": "2016-03-09T18:15:53.764+0900",
      "temperature": 27.22,
      "accelX": 0.092,
      "accelY": -0.952,
      "accelZ": -0.113
    }
  }
}

Texas Instruments社製 多機能/開発用センサー sensorTag CC2541¶

{
  "deviceId": "5c313ec027e1", // BX1の設定画面で設定したデバイスID (BX1で付与)
  "humidity": 40.7,           // 湿度 %
  "temperature": 28.6,        // 温度 ℃ (湿度センサー内)
  "objectTemp": 23.8,         // 物体温度 ℃
  "ambientTemp": 28.4,        // 周辺温度 ℃
  "gyroX": -1.4,              // ジャイロ(X軸) deg/s <角速度>
  "gyroY": 4,                 // ジャイロ(Y軸) deg/s
  "gyroZ": 0.2,               // ジャイロ(Z軸) deg/s
  "pressure": 1015.6,         // 気圧 hPa
  "accelX": 0.1,              // 加速度(X軸) G
  "accelY": 0.3,              // 加速度(Y軸) G
  "accelZ": 3.8,              // 加速度(Z軸) G
  "magX": -53.9,              // 地磁気(X軸) μT <テスラ>
  "magY": -5.2,               // 地磁気(Y軸) μT
  "magZ": 102.7,              // 地磁気(Z軸) μT
  "time": "2015-11-19T10:29:20.529+0900" // 計測日時(BX1で付与)
}

また、AWS IoTのDevice shadowで取得すると state 等、AWS IoTの属性が付与されます

{
  "state": {
    "reported": {
      "deviceId": "5c313ec027e1",
      "humidity": 40.7,
      "temperature": 28.6,
      "objectTemp": 23.8,
      "ambientTemp": 28.4,
      "gyroX": -1.4,
      "gyroY": 4,
      "gyroZ": 0.2,
      "pressure": 1015.6,
      "accelX": 0.1,
      "accelY": 0.3,
      "accelZ": 3.8,
      "magX": -53.9,
      "magY": -5.2,
      "magZ": 102.7,
      "time": "2015-11-19T10:29:20.529+0900"
    }
  }
}